LLMs Get Lost in Evolving User Intent
LLM 在动态变化的用户意图中迷失
🧭 动态对话中的意图追踪与评估
Microsoft Research
将静态单轮任务转为带意图演化的多轮对话，发现前沿模型追踪用户意图变化时性能大幅下降
📌 工作参考价值（4 点）
- 对话式推荐/搜索评估必测多轮意图漂移：电商场景中用户意图常随对话逐步细化或变更，现有单轮静态评估会高估模型真实表现，应构建意图演化式的多轮测试集（如从静态问答对中自动衍生多轮序列）。
- 可复现的意图演化数据构造框架：论文方法通过将静态基准转化为带意图插入、修订、重定向的多轮对话，无需新标注，可直接用于生成电商对话质量验证数据，低成本评测意图追踪能力。
- 模型架构/训练启示：高意图变化频率下性能骤降，提示需要显式记忆或意图摘要机制（如维护动态用户画像、对话摘要 Prompt），避免历史信息被冲淡；在微调时加入意图演化样本可针对性提升。
- 工程实现注意：在构建 Agent 对话系统时，应将用户意图变化作为关键信号，监测并触发内部状态更新（如重置上下文或总结已确认意图），而不是单纯拼接历史消息。